Rockefeller là con thứ hai sinh ra ở Richford, New York với nghệ sĩ William Avery "Bill" Rockefeller và Eliza Davison. Anh có một chị gái tên là Lucy và bốn anh chị em nhỏ hơn; William Jr., Mary, và cặp song sinh Franklin (Frank) và Frances. Cha của ông là người gốc Anh và Đức, trong khi mẹ ông là người gốc Scots-Ailen. Bill lần đầu tiên là một thợ sửa ống nước và sau đó là một nhân viên bán hàng đi du lịch đã tự nhận mình là một "bác sĩ thực vật", người đã bán thuốc trừ sâu. Người dân địa phương gọi người đàn ông bí ẩn nhưng vui vẻ yêu thương là "Big Bill" và "Devil Bill."[5] Ông là một kẻ thù tuyên thệ nhậm chức của đạo đức thông thường, những người ưa thích một sự tồn tại mơ hồ và trở về với gia đình mình thường xuyên. Trong suốt cuộc đời, Bill nổi tiếng với những kế hoạch râm mát.[6] Giữa sự ra đời của Lucy và John, Bill và người tình và người quản gia Nancy Brown có một cô con gái tên là Clorinda, người đã chết sớm. Giữa sự ra đời của John và William Jr., Bill và Nancy đã có con gái Cornelia.[7]

Eliza là một người nội trợ và một Baptist sùng bái, người đã đấu tranh để duy trì sự ổn định ở nhà, vì Bill thường xuyên đi trong thời gian dài. Cô cũng đưa ra với sự lăng nhăng của mình và cuộc sống đôi của mình, trong đó bao gồm bigamy.[8] Cô đã được tiết kiệm bởi thiên nhiên và bởi sự cần thiết, và cô dạy con trai mình rằng "chất thải cố ý làm cho muốn woeful". John đã chia sẻ công việc gia đình thường xuyên của mình và kiếm thêm tiền nuôi gà tây, bán khoai tây và kẹo, và cuối cùng cho vay một số tiền nhỏ cho hàng xóm. Anh theo lời khuyên của cha mình để "buôn bán các món ăn cho đĩa cứng" và luôn nhận được phần tốt hơn trong bất kỳ thỏa thuận nào. Bill một lần khoe khoang, "Tôi lừa dối các chàng trai của tôi mọi cơ hội tôi nhận được. Tôi muốn làm cho họ sắc nét."[9]

From the beginning, I was trained to work, to save, and to give.
Tạm dịch: Ngay từ đầu, tôi đã được đào tạo để làm việc, để tiết kiệm và cho đi.

— John D. Rockefeller, [10]

Khi còn là một cậu bé, gia đình anh chuyển tới Moravia, New York và Owego, New York năm 1851, nơi anh theo học tại Học viện Owego. Năm 1853, gia đình ông chuyển đến Strongsville, Ohio và ông đã theo học trường Trung học Trung học Cleveland, trường trung học đầu tiên ở Cleveland và trường trung học công lập, miễn phí đầu tiên ở phía tây của Alleghenies. Sau đó, anh đã tham gia khóa học kinh doanh kéo dài 10 tuần tại trường Cao đẳng Thương mại Folsom, nơi ông học kế toán.[11] Anh là một cậu bé ngoan ngoãn, nghiêm túc và hiếu học mặc dù sự vắng mặt của cha mình và những động thái gia đình thường xuyên. Những người đương thời của ông đã mô tả ông là người được bảo lưu, nghiêm túc, tôn giáo, có phương pháp và kín đáo. Anh là một nhà đầu tư tuyệt vời và thể hiện chính xác. Anh cũng có một tình yêu sâu sắc về âm nhạc và mơ ước về nó như một sự nghiệp có thể.[12]